CloudWatch Logs 取り込みデータ量の多いロググループ名の確認方法

CloudWatch Logs のデータの取り込み利用費(DataProcessing-Bytes)の高さに悩まされることはありませんか？「地味に高いけど一体なんのログを CloudWatch Logs へ送っているんだろうか...」というときです。

今回は何のロググループにどれだけのサイズのデータが取り込まれているのかを可視化する方法を紹介します。

確認できること

CloudWatch logs のデータ取り込み量（IncomingBytesメトリクス）の多いロググループを特定できるグラフを作成します。グラフ作成までの所要時間は約5分です。

また、日別にロググループ毎のログ取り込みデータ量も可視化できます。このグラフですと平日はログの取り込みが多いですが休日は少ないことがざっとわかります。

AWS CLI で実行したい場合は以下の記事をご参考ください。

確認手順

CloudWatchのダッシュボードを開きます。

すべてのメトリクスを選択し表示されたメニューの中からログを選択します。

ロググループメトリクスを選択します。

IncomingBytesと入力しフィルタします。IncomingBytesは CloudWatch Lgos へアップロードされたログイベントのバイト数のメトリクスです。ロググループ毎にメトリクスが取得されています。

• Monitoring with CloudWatch metrics - Amazon CloudWatch Logs

すべてにチェックをいれます。IncomingBytesでフィルタしたすべてのロググループのメトリクスを選択した状態となります。

タブからオプションを選択して表示されたメニューから数値を選択します。値は時間範囲の値は、全時間範囲からの値を示しています。を選択します。

タブからグラフ化したメトリクスを選択して表示されたメニューから統計を合計に期間は1日を指定します。最後に集計する期間を指定するためにCustomを選択します。

Absoluteを選択して任意の範囲をカレンダーから指定してください。ここでは先月分の利用費を対象にして取り込みデータ量の多いロググループを確認することを目的とします。最後にApplyを選択します。

数式を追加を選択し並べ替えから合計で並べ替えを選択します。

式が追加されます。

一度すべてのチェックを外します。

追加された式のみチェックを入れます。式以外の項目も選択されているとグラフを表示したときにメトリクスの項目が重複して表示されます。

以上の手順で取り込みデータ量の多いロググループ順にソートしたグラフを表示できます。CloudWatch Logs のデータ取り込み量が高いときの調査ご活用ください。

ログの流量が多い AWS アカウントのサンプルです。ある程度ログあると見栄えが良いですね。データ取り込み量が多いロググループ名の確認に役立ちます。

また、線グラフで表示すると1日あたりのデータ取り込み量を可視化できます。ログの流量が少ないため可視化しても見栄えが悪いうえにわかりづらかったです。

同じくログの流量が多い AWS アカウントのサンプルです。平日はログの取り込みが多いですが休日は少ないことがわかります。

おわりに

新しい UI での確認手順が欲しかったため作成しました。

参考

• どのロググループが請求の増加を引き起こしているかを判断する | AWS re:Post
• CloudWatch の費用が高い！そんな時に確認するべきポイントと手順を紹介します。